GermanWikipedia - /page/entry.mu

Micron Document

<!DOCTYPE html>

<title>Stemming</title>

</head>

<h1 id="firstHeading" class="firstHeading mw-first-heading"><span class="mw-page-title-main">Stemming</span></h1>

</header>

</div>

<div id="mw-content-text" class="mw-body-content mw-content-ltr" lang="de" dir="ltr"><div class="mw-content-ltr mw-parser-output" lang="de" dir="ltr"><p>Als <b>Stemming</b> (<b>Stammformreduktion</b>, <b>Normalformenreduktion</b>) bezeichnet man im <a href="Information_Retrieval" title="Information Retrieval">Information Retrieval</a> sowie in der <a href="Computerlinguistik" title="Computerlinguistik">linguistischen Informatik</a> ein Verfahren, mit dem verschiedene <a href="Morphologie_(Sprache)" class="mw-redirect" title="Morphologie (Sprache)">morphologische</a> Varianten eines <a href="Wort" title="Wort">Wortes</a> auf ihren gemeinsamen <a href="Wortstamm" title="Wortstamm">Wortstamm</a> zurückgeführt werden, z. B. die <a href="Deklination_(Grammatik)" title="Deklination (Grammatik)">Deklination</a> von <i>Wortes</i> oder <i>Wörter</i> zu <i>Wort</i> und <a href="Konjugation_(Grammatik)" title="Konjugation (Grammatik)">Konjugation</a> von <i>gesehen</i> oder <i>sah</i> zu <i>seh</i>.

</p>

<div class="mw-heading mw-heading2"><h2 id="Geschichte">Geschichte</h2></div>

<p>Im Jahr 1968 veröffentlichte Julie Beth Lovins (1945–2018) den ersten bekannten Stemming-Algorithmus.<sup id="cite_ref-1" class="reference"><a href="#cite_note-1"><span class="cite-bracket">[</span>1<span class="cite-bracket">]</span></a></sup> Dieser <a href="Algorithmus" title="Algorithmus">Algorithmus</a> hatte einen großen Einfluss auf die weitere Entwicklung von Stemming-Algorithmen. Ein späterer Stemmer wurde 1980 von Martin Porter veröffentlicht.<sup id="cite_ref-2" class="reference"><a href="#cite_note-2"><span class="cite-bracket">[</span>2<span class="cite-bracket">]</span></a></sup> Dieser Stemmer wurde zum De-facto-Standard für das Stemming englischsprachiger Texte. Porter erhielt im Jahr 2000 den <i>Tony Kent Strix Award</i> für seine Arbeit auf dem Gebiet der Stemming-Algorithmen und des Information Retrievals.

</p><p>Es wurden viele Implementierungen des <a href="Porter-Stemmer-Algorithmus" title="Porter-Stemmer-Algorithmus">Porter-Stemmer-Algorithmus</a> geschrieben und kostenlos verteilt, von denen viele jedoch kleine Fehler enthielten. Dies führte dazu, dass diese Stemmer niemals ihr volles Potenzial abschöpfen konnten. Um diese Fehlerquelle zu beseitigen, veröffentlichte Porter um das Jahr 2000 eine offizielle Implementierung des Algorithmus.<sup id="cite_ref-3" class="reference"><a href="#cite_note-3"><span class="cite-bracket">[</span>3<span class="cite-bracket">]</span></a></sup> In den folgenden Jahren erweiterte er seine Arbeit, indem er mit Snowball ein Framework zum Schreiben von Stemming-Algorithmen schuf. Des Weiteren schuf er einen verbesserten Stemmer für die englische Sprache zusammen mit Stemmern für andere Sprachen.

</p>

<div class="mw-heading mw-heading2"><h2 id="Stemming-Verfahren">Stemming-Verfahren</h2></div>

<p>Zum Stemming gibt es verschiedene <a href="Algorithmus" title="Algorithmus">Algorithmen</a> für verschiedene Sprachen. Die Entwicklung eines Stemmers ist eine experimentelle Wissenschaft, da Algorithmen nicht verifiziert werden können, sondern erst an <a href="Textkorpus" title="Textkorpus">Textkorpora</a> und in der Praxis getestet werden müssen.

</p><p>Beispiele:

</p>

<ul><li><a href="Porter-Stemmer-Algorithmus" title="Porter-Stemmer-Algorithmus">Porter-Stemmer-Algorithmus</a></li>

<li><a href="KSTEM" title="KSTEM">KSTEM</a> (Robert Krovetz: <i>Viewing morphology as an inference process</i>, 1993)</li>

<li><a href="N-Gramm" title="N-Gramm">N-Gramm</a>-Verfahren</li>

<li>lexikonbasiertes Stemming (<a href="Lemmatisierung" class="mw-redirect" title="Lemmatisierung">Lemmatisierung</a>)</li>

<li>korpusbasiertes Stemming</li>

<li>statistische Verfahren</li>

<li><a href="Computerlinguistik" title="Computerlinguistik">computerlinguistische</a> Verfahren.</li></ul>

<p>Eine alternative, sehr viel einfachere und weniger genaue Möglichkeit ist die Suche nach Teil-Zeichenketten, z. B. mit dem <a href="Wildcard_(Informatik)" title="Wildcard (Informatik)">Stern-Operator</a>. Dies bezeichnet man auch als <a href="Trunkierung_(Datenbank)" class="mw-redirect" title="Trunkierung (Datenbank)">Trunkierung</a>.

</p>

<div class="mw-heading mw-heading2"><h2 id="Anmerkungen">Anmerkungen</h2></div>

<p>Im Gegensatz zur Suche, beispielsweise mit <a href="Regul%C3%A4rer_Ausdruck" title="Regulärer Ausdruck">regulären Ausdrücken</a>, die für Suche in großen Datenbeständen – z. B. <a href="Suchmaschine" title="Suchmaschine">Suchmaschinen</a> – zu langsam wäre, wird eine Menge von Texten einmalig <a href="Indexierung" title="Indexierung">indexiert</a>, um später schnell durchsucht werden zu können.

</p><p>In einigen Sprachen spielt auch die Wortzerlegung und Zusammensetzung (<i>lief weg</i> → <i>weglaufen</i>) eine wichtige Rolle.

</p>

<div class="mw-heading mw-heading2"><h2 id="Siehe_auch">Siehe auch</h2></div>

<ul><li><a href="Indexierung" title="Indexierung">Indexierung</a>, <a href="Volltextindexierung" title="Volltextindexierung">Volltextindexierung</a></li>

<li><a href="Stoppwort" title="Stoppwort">Stoppwort</a></li>

<li><a href="Part-of-speech-Tagging" title="Part-of-speech-Tagging">Part-of-speech-Tagging</a></li>

<li><a href="Gemeinschaftliches_Indexieren" class="mw-redirect" title="Gemeinschaftliches Indexieren">Gemeinschaftliches Indexieren</a> (Tagging)</li></ul>

<div class="mw-heading mw-heading2"><h2 id="Einzelnachweise">Einzelnachweise</h2></div>

<li id="cite_note-1"><span class="mw-cite-backlink"><a href="#cite_ref-1">↑</a></span> <span class="reference-text">Julie Beth Lovins: <i>Development of a stemming algorithm.</i> In: <i>Mechanical Translation and Computational Linguistics.</i> Bd. 11, Nr. 2, Juni 1968, S. 22–31.</span>

</li>

<li id="cite_note-2"><span class="mw-cite-backlink"><a href="#cite_ref-2">↑</a></span> <span class="reference-text">Martin Porter: <i>An algorithm for suffix stripping.</i> In: <i>Program.</i> Bd. 3, Nr. 14, Juli 1980, S. 130–137.</span>

</li>

<li id="cite_note-3"><span class="mw-cite-backlink"><a href="#cite_ref-3">↑</a></span> <span class="reference-text"><a rel="nofollow" class="external text" href="https://tartarus.org/martin/PorterStemmer/">Offizielle Implementierung des Porter-Stemmer-Algorithmus</a></span>

</li>

</ol></div><div><div class="zim-footer">

Dieser Artikel wurde von <a class="external text" title="Zuletzt bearbeitet am 2021-07-07" href="https://de.wikipedia.org/wiki/?title=Stemming&oldid=213637469">Wikipedia</a> herausgegeben. Der Text ist unter <a class="external text" href="https://creativecommons.org/licenses/by-sa/4.0/deed.de">Creative Commons Attribution-Share Alike 4.0</a> verfügbar, sofern nicht anders angegeben. Für die Mediendateien können zusätzliche Bedingungen gelten.

</div>

</div></div>

</div>

</main>

</div>

</body></html>